1北京林业大学信息学院
2国家林业草原林业智能信息处理工程技术研究中心
TL;DR提出ADOT-Net,通过联合信息增强策略和扩张八叉树注意力机制实现局部几何细节与全局语义关联的高效属性感知,在S3DIS上OA达90.4%,ScanNet测试集mIoU达73.9%。
点云语义分割中,基于静态卷积核或全局注意力的传统方法存在局部特征捕获与全局上下文建模割裂的问题。本文提出属性感知的扩张八叉树网络ADOT-Net,通过联合信息增强策略增强点云空间和属性信息,利用扩张八叉树注意力机制实现局部-全局特征表达的动态平衡。
现有方法过度关注通道相关性导致几何细节丢失,全局注意力的O(N^2)复杂度难以支撑大规模点云处理。点云增强方法多聚焦三维坐标优化,忽视颜色、法向量等多模态属性的协同增强。
核心思想是将八叉树的高效空间表达与窗口化注意力机制深度融合,通过扩张策略在局部细节保真度与全局上下文覆盖度之间取得动态平衡。同时通过几何增强和光度增强联合提升数据多样性。
空间增强(旋转/翻转/缩放变换提升空间不变性)+光度增强(HSV非线性映射增强颜色属性)+局部注意力(动态权重分配实现邻域特征语义聚合)。
将点云构建为八叉树结构,通过Shuffled Keys排序划分窗口,交替使用扩张度D=1和D=4的注意力,实现从局部到全局的递进式感受野扩展。
通过5层八叉树卷积(核尺寸{3,2,3,2,3})将原始点云特征投影到高维空间并构建八叉树层次结构,为后续注意力计算提供高效空间索引。
Fig. 1 ADOT-Net网络架构图
ADOT-Net包含两大核心模块:联合信息增强和扩张八叉树注意力。输入点云先经过联合增强(空间+光度+局部注意力),然后通过Octree Embedding构建八叉树结构,再经D-OctFormer模块提取多层次特征,最后通过FPN分割头输出逐点分类结果。
Fig. 4 扩张八叉树注意力模块结构图
D-OctFormer模块交替使用两个Octree Attention单元,扩张度分别为1和4。D=1时进行标准窗口内注意力计算,捕获局部细节;D=4时将每个窗口拆分为4个子窗口,每个子窗口覆盖空间中不同扩张区域的位置,相当于遍历父节点层级或跨子树跳跃,从而捕捉长距离依赖。
Fig. 6 D-Octformer模块结构图
光度增强模块将RGB转换到HSV空间,分别对明度V(对比度/亮度调整)、饱和度S(sigmoid变换)、色调H(随机偏移)引入差异强度的随机噪声,增强阴影区域和高光区域的特征可分性。空间增强通过去中心化后的旋转缩放变换模拟传感器位姿偏移。
| 方法 | S3DIS mIoU | S3DIS OA | ScanNet Val | ScanNet Test |
|---|---|---|---|---|
| PointNet++ | 50.8 | 82.2 | 53.5 | 56.7 |
| KPConv | 70.6 | - | 69.2 | 68.6 |
| MinkowskiNet | - | - | 72.2 | 73.6 |
| PointTransformer | 73.5 | 90.2 | 70.6 | - |
| ADOT-Net (Ours) ours | 72.7 | 90.4 | 72.8 | 73.9 |
消融实验表明,三个增强策略协同使用时性能最高。局部注意力是核心性能提升组件。扩张值D=4时达到最优平衡,D=8时性能下降表明过大感受野会损害局部特征学习。在chair(90.7%)、wall(87.0%)、floor(98.7%)等高频类别上表现突出。
Fig. 7 S3DIS数据集语义分割可视化结果
将八叉树结构与窗口化注意力机制结合,通过扩张策略在局部细节与全局上下文间取得动态平衡,是大规模点云语义分割的有效途径。联合的几何-光度增强策略能显著提升模型对真实场景变化的鲁棒性。
@inproceedings{wang2025adotnet,
title={ADOT-Net:属性感知的扩张八叉树网络},
author={王仟 and 杨昊田 and 王少荣},
booktitle={第28届全国计算机辅助设计与图形学学术会议(CCF CAD/CG 2025)},
year={2025}
}